Tháng 11 năm 1986, Kim Ngọc Thái bắt đầu công việc kế toán trưởng của Hợp tác xã mua bán xã Tân Hiệp, huyện Trà Cú, tỉnh Cửu Long, sau đó chuyển sang làm kế toán ngân sách của xã từ đầu năm 1989. Năm 1991, Cửu Long tách thành Vĩnh Long và Trà Vinh, xã Tân Hiệp thuộc Trà Cú của Trà Vinh, và ông tiếp tục công tác ở xã. Tháng 11 năm 1992, ông là kế toán nông nghiệp xã Tân Hiệp, rồi thủ quỹ của xã từ tháng 9 năm 1993, nhậm chức Trưởng Ban Tài chính xã từ tháng 1 năm 1997. Tháng 5 năm 1999, ông được bầu làm Phó Chủ tịch Ủy ban nhân dân xã Tân Hiệp, sau đó nửa năm thì là Phó Bí thư Đảng ủy xã, Chủ tịch Ủy ban nhân dân xã, và là Đại biểu Hội đồng nhân dân huyện Trà Cú khóa IX, nhiệm kỳ 2004–11. Tháng 8 năm 2004, Kim Ngọc Thái là Bí thư Đảng ủy xã, đến tháng 9 năm 2008 thì chuyển chức làm Bí thư Đảng ủy thị trận Định An, được bầu làm Ủy viên Ban Chấp hành Đảng bộ huyện Trà Cú từ tháng 7 năm 2009. Sang tháng 3 năm 2010, ông là Phó Chủ tịch Ủy ban nhân dân huyện Trà Cú, bầu vào Ban Thường vụ Huyện ủy từ cuối năm này, và là Quyền Chủ tịch rồi Chủ tịch Ủy ban nhân dân huyện từ năm 2011, Đại biểu Hội đồng nhân dân huyện khóa X, nhiệm kỳ 2011–16. Tháng 2 năm 2013, ông được bầu làm Ủy viên Ban Chấp hành Tỉnh ủy Trà Vinh, phân công làm Bí thư Huyện ủy Trà Cú.[2]

Tháng 8 năm 2014, Kim Ngọc Thái được bầu bổ sung vào Ban Thường vụ Tỉnh ủy Trà Vinh, sau đó 2 tháng thì được bổ nhiệm làm Phó Bí thư Ban Cán sự Đảng, Phó Chủ tịch Ủy ban nhân dân tỉnh Trà Vinh.[2][3] Ngày 5 tháng 9 năm 2018, ông được phân công làm Phó Bí thư thường trực Tỉnh ủy Trà Vinh,[4][5][6] đến ngày 5 tháng 11 năm 2020, ông được chỉ định làm Bí thư Đảng đoàn Hội đồng nhân dân tỉnh, rồi được bầu làm Chủ tịch Hội đồng nhân dân tỉnh Trà Vinh.[7] Ông là Đại biểu Hội đồng nhân dân tỉnh Trà Vinh khóa IX, nhiệm kỳ 2016–21, khóa X, nhiệm kỳ 2021–26.[8]